Omoikane Embed for inline
- 深追いしない、データの構造が違う
- こっちがnishioに住んでいる方
- AIといくつかの会話を並行して出来るようになっているっぽい
ロードマップ
- { } inlineの情報を元にAIになにか考えてもらう
- { } inlineの今見ているページの関連ページを表示する
何を考えてもらおうか？
- 最近の更新
- Omoikaneではダイジェストと新たな気づきを記録しているがinlineだと何が見たいかな
- 最新のページからなにかたどるのは違うかなーと思っている
- 赤リンクの記事を執筆
- ユーザが指定したキーワードについての記事を執筆
- これについてどう思う、みたいな
- そもそも自分の日記は作業ログであって、思索をたくさん書いているものではないのだよな
- その前提で有益そうなプロンプトを考えるのが良さそう
- 他人の作例も大量に入っている、こういうことがやりたいのだけど、、みたいなのは良いかも
- テキトーで良いので実装してみたいところがある
- プロンプトもinlineで管理すればよかろう
inlineのAPIの確認
- 検索のAPI
- なんだっけ？
> code
<<
これで対象ページを拾える
その後uniqしてこれ
> code
<<
.bodyとか.meta.lastUpdateが役に立ちそう
inlineはScrapboxより制約が少ない
- よく考えたらオンデマンドでやっても良いな
- メニューからAIに渡すことができると良さそう
- その後ページが更新される的な
- ベクトルを作るマイクロサービスにしよう
- 関連ページ検索
- これはqdrantに投げると早そう
- indexをどのタイミングで更新するかは悩ましい
- ChatGPTへの問い合わせ
- ページにPromptを書いてその内容を問い合わせる形にすると良さそう
- 関連ページの取得はマクロみたいにできると良い
- Prompt
- 質問文
- 質問文と距離の近い記事のdigestをいくつか並べる
- これはそこまで最新である必要はない
- 何なら関連ページ検索してきて人間が置いても良いかも
- まぁやるのは良いが、どこまで面白いものになるかは微妙
- 関連ページ検索は良いものだと思う
- まずこれをやろう
- 要はqdrant proxy
- 結果はとりあえず、ページに挿入する、で良さそう
AIにページを読んでもらう案
- AIに読んでほしい内容をAIに読んでもらうタグの付いたページに記載する
- AIはその内容と、それに近い内容のページを読んで返答する
- プロンプトもinlineで管理する
- プロンプトページは手動でバージョン管理する
- AIに読んでもらうタグの付いたページはAIが追記するので注意
- ある記号より下は読まない
- AIはページに追記する
- フォーマット
- ある記号
- AIの返答
- プロンプトのバージョン
- 今までの記事内容
それっぽいものが手元では動いた
- AIにあるページを読んで考えてもらい、出力を得る
- 人間がそれに意見を書き加える
- 初回参考ページ '日記を読むAIアシスタントに関する対話', '日記を読むAIアシスタント', '関連検索で得た似たようなページをどう料理するか', 'Omoikane Embed for inline', 'omoikane'
- 再びAIに読んでもらい出力を得る
- 2回目参考ページ
- これだと参考ページが差し変わらないな
- 指し変わらないならindexを更新する必要が無いということも考えられる
- 以降繰り返す
関連ページの取得
- pickleからのはできた
既存コードの読解
- ページ一覧から1日以内に更新のあったものを拾っている
- それらのページから均等に情報を集めるためにblock_sizeを計算している
- 大きなページはページの上の方と下の方を取っている
- 雑談ページだけは下の方だけ取っている
あきらめてベクトルを作るところからやる
- 3447ページ 1秒で10ページくらい対応できている、早くなっている？
- 前準備だったようだ
できた
Qdrant上で類似ページを探すことが出来た
Qdrant
- WebUI
- あるタイトルページを探す
- playgroundみたいなのがある
- あるPointと似たPointを探す
- 見た目は酷いけど有益
気づき
- 内容の多いページは複数に分割されている